池化（Pooling）.md

池化（Pooling）

池化：概述（Pooling: Overview）

在得到卷积特征后，我们下一步就是用其来做分类。理论上，我们可以用一个基于提取到的所有特征来做分类器（译者注：的训练），比方说用 $SoftMax$ 分类器进行，但（译者注：用所有特征）在计算量上的开销是很大的。考虑到每张图片大小为 $96 \times 96$ 像素，并进一步假设我们已经在 $8 \times 8$ 像素大小的输入单元上学习了 $400$ 个特征（译者注：这里 $400$ 个特征是指卷积层有 $400$ 个神经元或滤波器模板）。（原始图像的）每个卷积操作将会产生 $(96-8+1)\times(96-8+1)=7921$ 个元素的输出，因为我们有 $400$ 个特征（译者注：这里特征应指神经元或滤波器模板），这样每个样本将会产生长度为 $89^2 \times 400=3,168,400$ 个特征的向量。有着超过三百多万的特征让分类器去学习的想法是不明智的，这也会使分类器倾向于过拟合。

为了解决这个问题，首先回顾一下卷积特征的“固定不变”属性（译者注：即“静态性”），这意味着在一个区域的有效性也可能适用在其它区域。因此，要描述一个大的图像，一个自然的方法是在不同的位置对特征进行汇总统计。例如，一个方法是可以计算在图像中某一区域中一个特定特征的平均值（或最大值）。这样概括统计出来的数据，其规模（相比使用提取到的所有特征）就低得多，同时也可以改进分类结果（使模型不易过拟合）。这样的聚集操作称为“池化”，（根据具体的应用而选择池化方法）有时使用“平均池化”或“最大值池化”。

下面这幅图，展示了池化是如何在一幅图像上的 $4$ 个非重叠区域上进行的。

池化的不变性（Pooling for Invariance）

如果在选择池化区域的时候是选择图像上的连续区域，以及来自相同隐含单元生成的池化特征，那么，这些池化单元将会是“平移不变的”。这意味着哪怕是小的平移改变，相同（被池化过的）特征也是激活状态（译者注：不确定。“This means that the same (pooled) feature will be active even when the image undergoes (small) translations.”）。在很多任务中（例如，目标检测，语音识别等）平移不变特性是很必要的，即使图像被平移，但实际上样本（图像）的标记是一样的。举个例子，如果您正使用 $MNIST$ 手写数字图片数据集，并对其进行向左或向右的平移操作，分类器仍能忽视其平移后的位置并对同一数字准确分类。

正式的描述（Formal description）

正式地说，在获得了我们先前所说的卷积特征后，我们就可以决定池化区域的大小了，比方说我们可选择 $m \times n$ 分辨率的像素规格来对我们的卷积特征进行池化。然后，我们将卷积特征分成每块 $m \times n$ 像素大小的不相交的区域块，并在这些区域块上应用平均（或最大）值特征激活，以获得池化特征。这些池化过的特征便可用在之后的分类上。

在下一节，我们将会进一步讲解如何将这些特征“池化”到一起，以得到更好的分类特征。